# Out-of-Vocabulary

## 개요

자연어처리(Natural Language Processing, NLP) 분야에서 **Out-of-Vocabulary**(OoV)는 모델이 학습 과정에서 접하지 못한 단어를 의미합니다. 이는 텍스트 데이터를 처리하는 시스템이 사전에 정의된 어휘 집합(Vocabulary)에 포함되지 않은 단어를 마주했을 때 발생하는 문제로, 모델의 성능 저하와 해석 오류를 유발할 수 있습니다. 특히 희귀 단어, 신조어, 오타, 고유명사 등이 OoV 문제를 일으키는 주요 원인입니다.

OoV 문제는 기계 번역, 음성 인식, 텍스트 요약, 질의응답 시스템 등 다양한 NLP 응용 분야에서 중요한 이슈로 다뤄지며, 이를 해결하기 위한 다양한 기술과 전략이 개발되어 왔습니다.

---

## OoV 문제의 원인

### 1. 어휘 집합의 제한성
대부분의 NLP 모델은 학습 데이터를 기반으로 고정된 크기의 어휘 집합을 구성합니다. 이 어휘 집합은 빈도 기반으로 상위 N개의 단어만 포함하며, 그 외의 단어는 `<UNK>`(Unknown) 토큰으로 대체됩니다. 그러나 실제 응용 환경에서는 학습 데이터에 없던 단어가 자주 등장할 수 있어, 이로 인해 정보 손실이 발생합니다.

### 2. 언어의 동적 특성
언어는 시간이 지남에 따라 변화하며, 새로운 단어(예: 신조어, 유행어), 외래어, 고유명사(예: 사람 이름, 브랜드명)가 지속적으로 생성됩니다. 예를 들어, "메타버스", "챗봇", "딥러닝"과 같은 단어는 과거에는 존재하지 않았으나, 현재는 널리 사용됩니다. 이러한 단어들이 기존 어휘 집합에 포함되어 있지 않으면 OoV 문제가 발생합니다.

### 3. 오타 및 철자 오류
사용자가 입력한 텍스트에 철자 오류나 오타가 포함된 경우, 정확한 단어는 어휘 집합에 존재하더라도 오류로 인해 OoV로 처리될 수 있습니다. 예를 들어, "자연어처리"를 "자연어처리기"로 잘못 입력하면, 후자는 어휘 집합에 없을 가능성이 높습니다.

---

## OoV 문제의 영향

OoV 단어는 다음과 같은 부정적인 영향을 미칠 수 있습니다:

- **의미 해석 오류**: `<UNK>`로 대체된 단어는 문맥 정보를 완전히 잃게 되어 문장의 의미를 잘못 파악할 수 있습니다.
- **모델 성능 저하**: 기계 번역 시스템에서 OoV 단어가 등장하면 번역 품질이 급격히 떨어질 수 있습니다.
- **사용자 경험 악화**: 음성 비서나 챗봇과 같은 대화형 시스템에서 OoV 단어를 이해하지 못하면, 사용자에게 부정확한 응답을 제공하게 됩니다.

---

## OoV 문제 해결 기법

### 1. 서브워드 토크나이제이션(Subword Tokenization)

서브워드 기반 토크나이제이션은 단어를 더 작은 단위(서브워드 또는 문자 n-그램)로 분할하여 어휘 집합 외부의 단어도 부분적으로 표현할 수 있도록 합니다. 대표적인 방법으로는 다음과 같은 기법이 있습니다:

- **Byte Pair Encoding**(BPE): 빈도가 높은 문자 쌍을 반복적으로 병합하여 서브워드 단위를 생성합니다.
- **WordPiece**: BPE와 유사하지만, 확률 기반으로 병합을 수행합니다. BERT 모델에서 사용됩니다.
- **SentencePiece**: 공백을 기준으로 하지 않고, 순수하게 문자 단위에서 토큰을 학습합니다. 언어 독립적입니다.

이러한 방법은 "unhappiness"와 같은 복합어를 "un", "happi", "ness"와 같이 분해하여 처리할 수 있어 OoV 문제를 크게 완화합니다.

### 2. 문자 기반 모델(Character-level Models)

단어 단위가 아닌 문자 단위로 모델을 설계하면, 어휘 집합의 크기를 무한대에 가깝게 만들 수 있습니다. 예를 들어, 문자 기반 RNN 또는 CNN을 사용하면, 어떤 단어라도 구성 문자의 시퀀스로 표현 가능하므로 OoV 문제를 근본적으로 해결할 수 있습니다. 다만, 계산 비용이 높고 학습이 어려운 단점이 있습니다.

### 3. 오타 교정 및 정규화
입력 텍스트에 대한 전처리 단계에서 철자 오류를 수정하거나, 표준 형태로 정규화하는 방법도 효과적입니다. 예를 들어, "챗봇"과 "챗 봇"을 동일한 토큰으로 매핑하거나, 오타 교정 알고리즘(예: Levenshtein 거리 기반)을 적용할 수 있습니다.

### 4. 동적 어휘 확장
모델이 새로운 도메인 데이터를 접할 때마다 어휘 집합을 동적으로 확장하는 방법도 있습니다. 이는 지속적인 학습(Continual Learning)과 결합하여, 새로운 단어를 점진적으로 학습할 수 있도록 합니다.

---

## 관련 기술 및 사례

- **BERT, GPT 등 트랜스포머 기반 모델**: 대부분 WordPiece 또는 BPE를 사용하여 OoV 문제를 완화합니다.
- **Google’s Neural Machine Translation**(GNMT): BPE를 도입하여 번역 품질을 향상시켰습니다.
- **Korean NLP 모델**(예: KoBERT, KorBERT): 한국어의 띄어쓰기 문제와 어절 구조를 고려하여 특화된 서브워드 토크나이저를 적용합니다.

---

## 결론

Out-of-Vocabulary 문제는 자연어처리 시스템의 정확성과 견고성(Robustness)을 저해하는 핵심 이슈 중 하나입니다. 단순히 `<UNK>`로 처리하는 방식은 정보 손실을 초래하므로, 서브워드 토크나이제이션, 문자 기반 모델, 오타 정정 등의 기술을 적절히 조합하여 OoV 문제를 완화하는 것이 중요합니다. 특히 다국어 및 동적 언어 환경에서는 이러한 기술의 적용이 필수적입니다.

---

## 참고 자료

- Sennrich, R., Haddow, B., & Birch, A. (2016). *Neural Machine Translation of Rare Words with Subword Units*. Proceedings of ACL.
- Devlin, J., et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. NAACL.
- Kudo, T. (2018). *SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing*. EMNLP.